Het eerste kasteel van Florzé maakte deel uit van de heerlijkheid Sprimont en dateerde van na de 13de eeuw, het werd verwoest in 1578, alleen de toren bleef bewaard.  Het werd bewoond door de families van Presseux en in 1497 door de la Marck d'Arenberg.
In 1570 behoorde het toe aan de laatste heer van Florzé, François Guillaume de Loncin. In 1794 werd het heropgebouwde kasteel gedeeltelijk vernield tijdens de "Slag bij Sprimont" tussen Oostenrijkers en Fransen. In 1825 ontving Graaf Clément de Berlaymont het als erfenis van zijn tante Henriette de Rahier die kinderloos stierf. Graaf Clément de Berlaymont verbouwde het kasteel en verkreeg het zijn 19de eeuwse voorkomen. Het kasteel is sinds 1904 eigendom van de familie Kleinermann-Dallemagne.
Vandaag staat het kasteel van Florzé open voor allerlei evenementen.